PROTEA: Offline Evaluation and Iterative Refinement for Multi-Agent LLM Workflows
PROTEA：多智能体 LLM 工作流的离线评估与迭代优化工具
🧭 多智能体工作流离线评估与迭代优化 ★ 深度解读
Sony Group Corporation
通过后向节点评估和图级瓶颈定位，实现多智能体工作流的离线测试驱动迭代优化，减少对人工中间标注的依赖
📌 工作参考价值（4 点）
- 后向节点评估降低标注成本：利用最终答案参考和下游依赖关系自动生成中间节点预期输出，适合电商推荐链路（意图解析→召回→排序→生成）中缺乏细粒度中间标注的场景。
- 图级诊断+节点级理由：将 PASS/WARN/FAIL 状态直接覆盖在工作流图上，并按优先级排序节点，开发者可快速定位导致推荐结果偏差或文档检查失败的瓶颈节点，避免逐节点翻看链路。
- 闭环提示词修订与重评估：在选中节点后，系统基于评审理由生成可编辑的提示词修订草案，并在 accept 后自动执行全链路重跑与评估，带来类似于 CI 回归测试的快速迭代体验，可直接迁移到生成式推荐或多轮对话 Agent 的 prompt 调优。
- LLM-as-a-judge 与阈值设置：可配置的多维度评分标准和阈值映射（PASS/WARN/FAIL），可用来自动评估中间输出（如召回相关性、排序合理性）并向业务反馈，适合构建监控或离线诊断管道。